# autor: Fabiano A. Lima
# Este arquivo contém o código usado para obter os dados dos sites dos veículos
# usados no estudo. Como esses sites podem sofrer alteração, reocmenda-se que, para fins de 
# reprodutibilidade, se use os arquivos salvos quando da elaboração dos estudo. 


library(tidyverse)
library(rvest)
library(urltools)
library(lubridate)



source("pesquisador.r", encoding = "utf8")
source("gera_tabela.r", encoding = "utf8")

folha <- folha() 
o_globo <- o_globo()

data_ini <- "17/03/2014"
data_fim <- "30/09/2018"

criterios <- c("Operação", "Operação e Magistrado", "Magistrado", "Magistrado sem Operação")


# Monta tabela básica somente com sumário das buscas (resultados totais)
valores_folha <- c(
  folha$busca_texto("todos:lava jato", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:sergio moro lava jato", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:sergio moro", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:sergio moro, nenhum: lava jato", data_ini, data_fim, T, T)$total
)

valores_globo <- c(
  o_globo$busca_texto("", "lava jato", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "sergio moro lava jato", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "sergio moro", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "sergio moro", "", "lava jato", data_ini, data_fim, T, T)$total
)

# Consolida resultados em dataframe único para salvar em arquivo

tbl_citacoes <- tibble(
  "Critério" = criterios,
  "Folha" = valores_folha,
  "O Globo" = valores_globo 
)

saveRDS(tbl_citacoes ,"./data/citacoes_lj_sm.rds")
write.csv(tbl_citacoes, "./data/citacoes_lj_sm.csv")



# Busca dados detalhados da Folha e gera arquivos
folha_sm_sem_lj <- folha$busca_texto("todos:sergio moro, nenhum: lava jato", data_ini, data_fim)
saveRDS(folha_sm_sem_lj, "./data/folha_sm_sem_lj.rds")
write_lines(folha_sm_sem_lj, "./data/folha_sm_sem_lj.txt")

# Buscando dados detalhados de O Globo e gera arquivos
o_globo_sm_sem_lj <- o_globo$busca_texto("", "sergio moro", "", "lava jato", data_ini, data_fim)
saveRDS(o_globo_sm_sem_lj, "./data/o_globo_sm_sem_lj.rds")
write_lines(o_globo_sm_sem_lj, "./data/o_globo_sm_sem_lj.txt")